Chiến sự đang thuận lợi thì Tống Cao Tông và tể tướng Tần Cối chủ trương hòa Kim, lệnh triệt thoái quân Nhạc Phi về nam. Sau đó Tống Cao Tông theo kế Tần Cối sát hại Nhạc Phi, một tướng chủ chiến khác là Hàn Thế Trung cũng bị tước binh quyền.

Năm 1147, Đô thống chế Điền Sự Trung mở tiệc thết đãi các tướng, mời Ngưu Cao dự. Ông bị trúng độc, đến hôm sau thì qua đời, thọ 61 tuổi. Có ý kiến cho rằng Điền Sự Trung theo lệnh của Tần Cối mà đầu độc ông[7].